Measuring Epistemic Resilience of LLMs Under Misleading Medical Context
测量 LLM 在误导性医学情境下的认知韧性
🧭 LLM 医疗评测 · 误导性攻击韧性
University of Oxford · University of Washington · University College London · University of Waterloo
当注入误导性上下文时，LLM 放弃原正确回答，准确率从 71.1% 暴跌至 38.0%
📌 工作参考价值（4 点）
- 在电商 / Agent 场景可借鉴「误导注入」评测思路：构造用户提供矛盾或虚假先验知识的对抗性测试集，检验 Agent 是否坚持正确业务规则。
- 重点关注权威性虚假信息的影响：如假官方文件、规则性伪造等，这类注入对模型误导最强，在推荐解释或政策咨询 Agent 中要防御类似攻击。
- 评估代理能力（agentic capability）时，可引入误导性上下文观察模型是否盲目跟随，作为鲁棒性指标，类似本研究的“exception‑poisoning”测试。
- 基准设计启发：将原有正确回答的问题作为种子，再注入不同类型误导，可低成本构建大规模针对性评测，评估模型知识保持力。